Hardy là con trai của Gilbert và Ruby Moore Hardy, và là em trai của Matt Hardy. Mẹ của họ chết vì bệnh ung thư não vào năm 1986, khi Jeff 9 tuổi. Anh bộc lộ rõ tài năng đua mô tô của mình khi 12 tuổi và có chiếc xe đầu tiên - Yamaha YZ-80 - vào năm 13 tuổi. Anh có cuộc đua đầu tiên khi học lớp 9. Jeff từng tham gia chơi bóng chày nhưng vì 1 lần tai nạn khi đua xe, anh đã bị chấn thương tay và ngừng chơi bóng chày. Anh đã ngừng chơi thể thao sau khi anh chỉ được chọn một trong 2 thứ: thể thao và đấu vật - và anh đã chọn đấu vật. Môn học ưa thích của anh là Lịch sử và Mỹ thuật, những môn mà anh luôn luôn đạt điểm xuất sắc.